查看原文
其他

用Go重构C语言系统,这个抗住春晚红包的百度转发引擎承接了万亿流量

CSDN App AI科技大本营 2019-11-27


整理 | 夕颜
出品 | AI科技大本营(ID:rgznai100)
 
11 月 20 日,百度的万亿流量转发引擎 BFE 登上了 GitHub Trending Top 3,今日 Star 已突破 270。事实上,这个曾经抗住 2019 年春晚抢红包的转发引擎早已于 2019 年夏在 GitHub 上开源,今天突然再次引发关注,那我们不妨来回顾一下这个项目。
              
首先奉上 GitHub 开源地址:https://github.com/baidu/bfe,Apache 2.0 许可。

集成四大功能,开源四大能力


BFE(Baidu Front End,百度统一前端)是百度的统一七层流量转发平台。BFE平台目前已覆盖百度大部分产品,每日转发请求接近 1 万亿,峰值 QPS 超过 1000万。在 2019 年百度春晚红包活动中,BFE 平台在超大用户压力、数次流量波峰下平稳运行,保证了春晚红包活动的顺利进行。
 
             
 
从曝光的资料来看,作为综合的流量转发平台,BFE 平台的主要服务包括四大块,分别是:
  • 流量接入和转发:支持HTTP、HTTPS、HTTP/2、QUIC等多种协议,并支持强大的应用层路由能力
  • 流量全局调度:支持由外网流量调度和内网流量调度共同构成的全局流量调度系统
  • 安全和防攻击:支持黑名单封禁、精细限流和应用层防火墙(WAF)等多种防攻击能力
  • 实时数据分析:支持分钟级的超高维度时序报表
             
 
作为 BFE 平台的核心组件,BFE 转发引擎从 2012 年开始研发,并于 2014 年使用 Go 语言完成重构。
 
BFE目前已开源并支持以下重要能力:

1、主流网络协议接入
  • 支持HTTP/HTTPS/SPDY/HTTP2/WebSocket等
  • 支持TLS/HTTP/ WebSocket反向代理模式
2、可扩展插件框架
  • 通过可扩展插件框架,快速定制开发扩展模块,满足业务定制化需求
  • 内置重写、重定向、流量修改、封禁等丰富插件
3、基于请求内容的分流
  • 基于领域专有语言的分流规则,满足复杂业务场景定制化流量转发
  • 支持完备的分流条件原语集,包括基于请求内容(URI/Header/Cookie等)以及请求上下文(IP、协议、标签、时间等)的条件原语。
4、灵活的负载均衡策略
  • 支持集群级别负载均衡及实例级别负载均衡,实现多可用区容灾及过载保护
  • 内置加权轮询、加权最小连接数策略,基于IP或请求内容识别用户实现会话保持


基于Go语言,具有六大优势


采用 Go 语言重构 BFE,是百度团队在经过与 C、Python 与 Go 的对比之后做出的选择。与前两者相比,Go 具有的特点如下:
  • 性能和 C 接近
  • 并发性
    • Go routine:屏蔽底层的机制,可以充分利用 CPU 资源
    • 多线程模式:容易思考
  • 开发效率
    • 描述能力与 Python 接近
    • 较丰富的库(系统库,第三方库)
  • 大型程序的组织
    • package
    • 数据访问的限制(首字母大小写的区别)
  • 可测试能力
    • 内置的单侧和覆盖检查工具,易于做 TDD
    • go test
  • 错误检查能力
    • 严格的编译阶段检查:强类型,文件包含,...
    • Panic,便于定位问题
  • 上线和运维
    • 可编译为独立可执行程序
 
由于基于Go语言,和业界普遍使用的Nginx开源软件相比,BFE具有学习成本、开发成本和性能上等各方面的优势,具体来说包括:

  • 研发效率高:Go语言的开发效率远高于C语言(及Lua),在代码的可维护性方面也有巨大优势。
  • 系统的安全和稳定性高:Go语言没有C语言固有的缓冲区溢出隐患,规避了大量的稳定性和安全风险;另外对于异常可以捕捉,保证程序在快速迭代上线的情况下也不崩溃。

从长期趋势看,基于更高级编程语言的软件系统会逐步取得竞争的优势。CPU等硬件资源的价格仍会快速下降,而开发人力成本、项目研发风险、系统稳定性/安全性方面会成为更重要的决策考虑。从这方面出发,主要基于C语言的Nginx会逐步衰落,而类似BFE这样的基于更高级编程语言的软件会逐步成为主流。
 
另外,BFE在设计中,还特别增加了企业级应用场景的考虑:
  • 转发场景的直接支持:和Nginx这样从Web Server转型为Proxy的进化路径不同,BFE直接为转发场景设计,从转发模型和转发配置方面更满足转发场景的需求
  • 多租户的支持:在云计算的场景下,多租户复用是普遍的需求。在BFE的设计中,内置提供了多租户的支持
  • 结构化的配置:BFE的配置设计,大量使用JSON这样的结构化方式,便于和相关配置管理系统对接
  • 丰富的监控探针:作为一个工业级软件,在BFE的设计中充分考虑了线上监控的需求,BFE程序通过HTTP方式向外暴露数千个内部状态变量
             
 
接下来简单介绍一下 BFE 的具体使用步骤和技术细节,但篇幅有限,关于项目更详细的信息,参见 https://github.com/baidu/bfe


创建并运行


前提

  • golang 1.12+
  • golang yacc
  • git


下载源代码

  • BFE代码可以在以下 repo 中找到:
https://github.com/baidu/bfe
  • 克隆主要的BFE repo:
$ mkdir -p gocode/src/github.com/baidu$ cd gocode/src/github.com/baidu$ git clone https://github.com/baidu/bfe$ cd bfe

从源代码创建

  • 在bfe(src / github.com / baidu / bfe)的源目录中运行构建脚本:
$ make
  • 运行测试:

$ make test
  • BFE二进制文件生成如下:

$ file output/bin/bfeoutput/bin/bfe: ELF 64-bit LSB executable ...

运行

  • 使用示例配置运行bfe:conf
$ cd output/bin/$ ./bfe -c ../conf -l ../log

功能性

集群之间的请求路由


在BFE配置中,“产品”可以由多个群集组成。用户可以定义如何在集群之间路由请求。请求路由基于HTTP请求的内容。
 
规则配置

  • HTTP标头中的字段用于定义路由规则,以在群集级别分配流量,例如:
    • 主机,路径,查询,cookie,方法等
  • BFE提供了一个“条件”表达式来定义如何使用特殊标头路由消息。这是群集级别负载平衡中的路由规则。
  • 如果配置了多个规则,则BFE将按顺序匹配这些规则。如果一条规则匹配,则匹配过程停止。

例子

  • 一个产品“demo”需要处理三种流量:静态内容流量,“后”流量,其他流量,据此我们可以定义三个集群:
    • 静态演示:提供静态内容
    • demo-post:发表留言
    • demo-main:服务其他流量
  • 在BFE配置中,可以添加以下路由规则:
    • 规则1:req_path_prefix_in(“ / static”,false)-> demo-static,这意味着路径前缀为“ / static”的消息将被路由到集群demo-static。
    • 规则2:req_method_in(“ POST”)&& req_path_prefix_in(“ / setting”,false)-> demo-post,这意味着使用方法“ POST”并以“ / setting”为前缀的消息将被路由到集群“ demo-发布”。
    • 规则3:默认-> demo-main,这意味着所有与上述规则不匹配的消息都将发送到集群“ demo-main”。


子集群级别的负载平衡

  • 在子集群级别,也可以配置负载平衡规则。规则定义了分配给每个子群集的流量权重。
  • 可以使用特殊的虚拟子群集“ BLACKHOLE”来丢弃流量。

例子

  • 考虑以下配置:
    • 两个IDC:IDC1,IDC2
    • 两个BFE集群:BFE1,BFE2
    • 两个后端子集群:sub-cluster-1,sub-cluster-2
  • 在BFE群集(BFE1和BFE2)中:
    • BFE1:{sub-cluster-1:w11,sub-cluster-2:w12,Blackhole:w1B}
    • BFE2:{sub-cluster-1:w21,sub-cluster-2:w22,Blackhole:w2B}
  • 根据配置的权重,BFE将流量分配到后端子群集。
    • 例如,如果权重配置{w11,w12,w1B} = {45,45,10},则到子集群的流量百分比是sub-cluster-1,sub-cluster-2和Blackhole分别是45%,45%和10 %。


实例级别的负载平衡

  • 通常,子群集由多个实例组成。在子群集中,WRR(加权轮询)用于在实例之间分发消息。
  • 实例可以根据其容量分配不同的权重。


实例的状况检查

BFE对每个后端实例进行运行状况检查。实例具有以下两种状态:
  • 正常状态:实例正常处理消息。
  • 正在检查状态:实例异常,无法处理消息。BFE在这种状态下会定期进行健康检查。

状态转换:
  • 在以下情况下正常进行检查:
    • 在连接或向实例发送消息时连续失败超过阈值。
  • 在以下情况下检查为正常:
    • BFE从后端实例收到正确的健康检查请求响应。

消息重试失败
 
如果消息路由失败,则BFE支持分两个级别重试消息:
  • 在同一子群集内重新路由消息。
  • 将消息重新路由到其他子群集。

连接池
 
BFE与后端实例之间的TCP连接支持:
  • 短期连接:BFE使用新建立的TCP连接将每个请求消息路由到后端服务器。
  • 连接池:
    • BFE维护到实例的连接池。
    • 对传入的请求:
      • 如果有可用的连接,请重新使用它。
      • 否则建立一个新的TCP连接。
    • 通过连接完成请求处理后:
      • 如果连接池的当前大小小于配置的数目,则将连接添加到该池中。
      • 否则,直接关闭连接。
会话粘性
 
BFE支持会话粘性基于请求消息的以下标识:
  • 源IP
  • 请求标头,Cookie等中的字段

将会话保持在不同的路由级别:
  • 子群集级别:会话的消息发送到相同的子群集(此子群集中的实例可能不同)。
  • 实例级别:会话消息发送到同一实例。


监测


指标

BFE支持大量的内置指标,可以通过BFE实例的访问监视器端口获取这些指标。


配置


在BFE的配置文件中,设置监视端口:
[服务器]
monitorPort = <端口>


地址


访问以下URL,从运行的BFE实例中获取指标的完整列表:
http://<ip addr>:<port>/monitor


插件


插件模块

             
值得注意的是,在该项目的众多 issue 下,有人提出关于 BFE 目前仅支持 Linux 的问题,项目贡献者随后做出回应,表示将来会支持 Windows,大家可以期待一下。

(*本文为AI科技大本营整理文章,转载微信联系1092722531)



精彩推荐




CSDN云计算TOP案例征集开启啦~~


你的“云+X”方案够先进吗?够高效吗?能解决行业目前的问题并快速迭代吗?想要更多人知道你的项目?请赶快扫码提交方案,权益多多,请见下方海报啦!



推荐阅读

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存